Bibletts是一种在撒哈拉以南非洲使用的十种语言的大型，高质量的开放语音数据集。该语料库包含每语言最多86个小时的对齐，工作室质量的48kHz单扬声器唱片，从而能够开发高质量的文本到语音模型。代表的十种语言是：Akuapem Twi，Asante Twi，Chichewa，Ewe，Hausa，Kikuyu，Lingala，Luganda，Luganda，Luo和Yoruba。该语料库是由Biblica的Open.Bible Project制作和发行的圣经录音的衍生作品。我们已经对齐，清洁和过滤了原始录音，并还对每种语言的对齐子进行了手工检查。我们为具有Coqui TTS的文本到语音模型提供了结果。数据是根据商业友好的CC-SA许可发布的。
translated by 谷歌翻译
我们探索跨语性多演讲者语音综合，并将跨语性语音转换应用于自动语音识别（ASR）系统的数据增强。通过广泛的实验，我们表明我们的方法允许语音合成和语音转换的应用，以在模型培训期间仅使用一个目标语言使用者在目标语言上改善ASR系统。与使用许多讲话者的其他作品相比，我们设法缩小了经过合成的与人类语音训练的ASR模型之间的差距。最后，我们表明，只使用目标语言的单个真实扬声器，可以通过我们的数据增强方法获得有希望的ASR培训结果。
translated by 谷歌翻译
YOUTTS为零拍摄多扬声器TTS的任务带来了多语言方法的力量。我们的方法在VITS模型上构建，并为零拍摄的多扬声器和多语言训练增加了几种新颖的修改。我们实现了最先进的（SOTA）导致零拍摄的多扬声器TTS以及与VCTK数据集上的零拍语音转换中的SOTA相当的结果。此外，我们的方法可以实现具有单扬声器数据集的目标语言的有希望的结果，以低资源语言为零拍摄多扬声器TTS和零拍语音转换系统的开放可能性。最后，可以微调言论不到1分钟的言论，并实现最先进的语音相似性和合理的质量。这对于允许具有非常不同的语音或从训练期间的记录特征的讲话来合成非常重要。
translated by 谷歌翻译
自动语音识别（ASR）是一个复杂和具有挑战性的任务。近年来，该地区出现了重大进展。特别是对于巴西葡萄牙语（BP）语言，在2020年的下半年，有大约376小时的公众可供ASR任务。在2021年初发布新数据集，这个数字增加到574小时。但是，现有资源由仅包含读取和准备的演讲的Audios组成。缺少数据集包括自发性语音，这在不同的ASR应用中是必不可少的。本文介绍了Coraa（注释Audios语料库）V1。使用290.77小时，在包含验证对（音频转录）的BP中ASR的公共可用数据集。科拉还含有欧洲葡萄牙音像（4.69小时）。我们还提供了一个基于Wav2VEC 2.0 XLSR-53的公共ASR模型，并通过CoraA进行微调。我们的模型在CoraA测试集中实现了24.18％的单词误差率，并且在常见的语音测试集上为20.08％。测量字符错误率时，我们分别获得11.02％和6.34％，分别为CoraA和常见声音。 Coraa Corpora在自发言论中与BP中的改进ASR模型进行了组装，并激励年轻研究人员开始研究葡萄牙语的ASR。所有Corpora都在CC By-NC-ND 4.0许可证下公开提供Https://github.com/nilc-nlp/coraa。
translated by 谷歌翻译
已经证明了深度学习技术在各种任务中有效，特别是在语音识别系统的发展中，即旨在以一系列写词中的音频句子转录音频句子的系统。尽管该地区进展，但语音识别仍然可以被认为是困难的，特别是对于缺乏可用数据的语言，例如巴西葡萄牙语（BP）。从这个意义上讲，这项工作介绍了仅使用打开可用的音频数据的公共自动语音识别（ASR）系统的开发，从Wav2Vec 2.0 XLSR-53模型的微调，在许多语言中，通过BP数据进行了多种。最终模型在7个不同的数据集中呈现12.4％的平均误差率（在应用语言模型时10.5％）。根据我们的知识，这是开放ASR系统中BP的最佳结果。
translated by 谷歌翻译
在本文中，我们建议对两个最近的酒店识别数据集进行重新访问版本：酒店50k和酒店ID。重新访问的版本提供的评估设置具有不同级别的难度，以更好地与预期的现实应用程序（即反对人口贩运）保持一致。现实世界中的场景涉及当前数据集中未捕获的酒店和位置，因此，重要的是要考虑真正看不见的评估设置，这一点很重要。我们使用多个最先进的图像检索模型测试此设置，并表明，如预期的那样，随着评估越来越接近现实世界中看不见的设置，模型的性能会降低。最佳性能模型的排名也会在不同的评估设置中发生变化，这进一步使用了建议的重新访问数据集。
translated by 谷歌翻译
生成的对抗网络（GANS）可以在狭窄的域中的照片逼真图像附近生成，例如人面。然而，模拟数据集的复杂分布，如想象成和Coco-ince，在无条件设置中仍然具有挑战性。在本文中，我们从内核密度估计技术中获取灵感并引入非参数方法来建模复杂数据集的分布。我们将数据歧管分为数据点及其最近邻居描述的重叠邻域的混合，并介绍一个名为实例条件GaN（IC-GaN）的模型，该模型将从每个数据点周围的分布中生动分布。 Imagenet和Coco-Stump的实验结果表明，IC-GaN显着改善了无条件模型和无监督数据分区基线。此外，我们表明IC-GaN可以通过简单地改变调节实例来毫不费力地转移到训练期间未见的数据集，并且仍然产生现实图像。最后，我们将IC-GAN扩展到课堂条件情况下，并在想象中显示语义可控的发电和竞争定量结果;同时在想象中改善了大战。在https://github.com/facebookResearch/IC_GAN中提供了重现报告结果的代码和训练有素的模型。
translated by 谷歌翻译
We present graph attention networks (GATs), novel neural network architectures that operate on graph-structured data, leveraging masked self-attentional layers to address the shortcomings of prior methods based on graph convolutions or their approximations. By stacking layers in which nodes are able to attend over their neighborhoods' features, we enable (implicitly) specifying different weights to different nodes in a neighborhood, without requiring any kind of costly matrix operation (such as inversion) or depending on knowing the graph structure upfront. In this way, we address several key challenges of spectral-based graph neural networks simultaneously, and make our model readily applicable to inductive as well as transductive problems. Our GAT models have achieved or matched state-of-theart results across four established transductive and inductive graph benchmarks: the Cora, Citeseer and Pubmed citation network datasets, as well as a proteinprotein interaction dataset (wherein test graphs remain unseen during training).
translated by 谷歌翻译